บรัดเลย์สมรสกับภรรยาคนแรก เอมิลี รอยส์ บรัดเลย์ (Emilie Royce Bradley) เมื่อมาเมืองไทยรับลูกของมิชชันนารีด้วยกันเป็นบุตรบุญธรรมคนหนึ่ง และภรรยามีลูกอีก 2 คน รวมมีบุตรเป็น 3 คน แต่เอมิลีเสียชีวิต ใน พ.ศ. 2388 ด้วยโรควัณโรคและศพได้ฝังอยู่ในประเทศไทย จากนั้น พ.ศ. 2390 กลับอเมริกาโดยพาบุตรและบุตรบุญธรรมกลับ และกลับมาเมืองไทยอีกครั้งปี พ.ศ. 2393 มีภรรยาใหม่ชื่อ ซาราห์ บรักลีย์ บรัดเลย์ (Sarah Brachly Bradley) คงพักอยู่ในสยามโดยไม่ได้กลับอเมริกาเลยตลอดชีวิต เธอเสียชีวิตเมื่อวันที่ 16 สิงหาคม พ.ศ. 2436 อายุ 75 ปี อยู่สยามรวม 43 ปี ส่วนลูกของเธอ 4 คนเดินทางกลับไปใช้ชีวิตในอเมริกา มีบุตรชายชื่อ คอร์เนลิอุส บี บรัดเลย์ (Cornelius)[9] ลูกสาวคนหนึ่งของหมอพักอาศัยในบ้านหลังนี้ต่อไปจนเสียชีวิตด้วยโรคชรา และมอบที่ดินดังกล่าวให้กองทัพเรือ[3]